You Only Learn One Representation: Unified Network for Multiple Tasks

Chien-Yao Wang, I-Hau Yeh, and Hong-Yuan Mark Liao

~台灣之光~

• 正常學習(Explicit knowledge)，淺意識學習(Implicit knowledge)。
• 藉由Explicit以及Implicit knowledge訓練出統一的模型，可以同時解決不同的任務。
• 提出implicit knowledge以及其使用的方式。

問題:

• 我們只會使用CNN提取出的影像特徵(explocit knowledge)，忽略了豐富存在於CNN的implicit knowledge。
• 沒有明確定義implicit knowledge以及如何取得。
  • 一般定義:
    • Explicit Knowledge: 淺層所獲得的特徵。
    • Implicit Knowledge: 深層所獲得的特徵。
  • 論文定義:
    • Explicit Knowledge: 可以直接從輸入資料的特徵發現到。
    • Implicit Knowledge: 隱藏在模型當中且無法被直接觀察到。

Explicit 深度學習:

其他方法:

• Transformer: 用Query、key、Value獲得Self-Attention。
• Non-local network: 在時間以及空間獲得Pair-wise Attention。
• 從Input data自動挑選適當的kernel。

Implicit 深度學習:

其他方法

• Implicit neural representation:利用離散輸入的連續參數化映射representation來處理不同的任務。
• Deep equilibrium models: 將Implicit knowledge的學習方式轉成殘差網路並且對其進行平衡點(equilibrium point)計算。

本文方法:

高維空間降維(Manifold space reduction)

• 為 implicit representation，為常數張量(tensor)的集合。
• 若目標類別可以分類的很好，則該類別的representation映射在高維空間也要能很好的被分類。
• 因此可以將映射向量跟implicit representation求內積降低高維空間的維度，來達到處理不同任務的目標。
  

Kernel空間對齊

• 不同的任務或是mult-head的神經網路輸入資料的特徵空間可能因不同任務而不一致，因此需要進行平移旋轉等操作進行對齊。

  

公式

• CNN:

  • 常見公式為: ，目標是要讓預測結果與正確解答間的差異能夠越小越好，相當於讓相同任務目標的解能夠匯聚在同一個點上，但是此作法只能處理單一任務。

    

  • 為了實現多任務，要讓每個任務在同一時刻manifold空間都盡可能找到解答，但這樣的方法很難利用簡單的數學公式替每個任務進行求解。

  • 因此提出一個error term方法

    

Knowledge 建模:

整合Explicit Knowledge以及Implicit Knowledge的方法。

其他方法

• Sparse Representation: 利用範例或是事先定義好的字典進行建模。
• Memory Network: 整合各種不同形式的Embedding並形成可動態添加或是修改的Memory。

整體網路架構

• 本架構有根據論文架構圖自行修改過，若有錯誤歡迎指正。

統一網路

• 添加explicit以及implicit knowledge去引導整個多任務神經網路的學習，依照任務選取或是組合explicit以及implicit knowledge的操作。
  
• 簡化公式後:
  ，代表結合以及的操作(相加、相乘、concatenation)。
• 處理不同任務:
  • 不同任務T對應的implicit latent code。
  • ，用以從z提取出implicit representation的超參數。
  • ，計算最終輸出的超參數。
• 步驟:
  1. 先求共用的representation: 。
  2. 求對應任務的implicit representation，。
  3. 利用對應任務的鑑別器，，完成不同的任務。

實驗結果

• Dataset採用: MSCOCO

• 要解決的任務: 物件偵測、實例分割、全景分割(panoptic segmentation)、關鍵點偵測、物件分割(stuff segmentation)、圖片敘述(image caption)、多標註物件分類、長尾分布辨識(
  long tail object recognition)。

• 以YOLOv4為Backbone，引入implicit knowledge進去模型:

  

  • Feature alignment:

    

  • Prediction refinement:
    沒加此技術，模型仍然可以完成原有的物件偵測任務。

    

• 多任務:

  • 如果只是將多目標的任務的loss設計在一起，這樣會讓整個模型效能下降，甚至比不上將不同模型分開訓練後整合在一起的結果。

  • 因此引入implicit representation進去實現多任務:

    

    • 結合偵測以及分類任務的loss操作實驗結果(JDE)，引入implicit進去的實驗結果(iJDE)

• Implicit representation與explicit representation的結合方式:

  • 實驗做了feature alignment以及prediction refinement。

  • Feature alignment:

    

  • Prediction refinement: 相乘比相加好，但沒比較concatenation，因為concate後的輸出維度會變。

    

• 參數量、FLOPs:

  

• 跟其他方法的比較:
  不用增加額外的訓練資料或是標註檔案，並且可以達到與當時最好方法差不多的效果。

  

文章使用之圖片擷取自該篇論文